System One models Are Not Better Rerankers
System One 模型并非更好的重排序器
🧭 LLM reranker 微调策略对比
University of Passau · Interdisciplinary Transformation University Austria (IT:U)
在 0.6B–27B 六个 Qwen 骨干上，决策微调从未超过重排微调，9B 以下重排微调领先 5–29 nDCG@10
📌 工作参考价值（4 点）
- 实际搜索/推荐重排中，若目标是 nDCG，优先选择专门 reranker 微调模型（如 Qwen3-Reranker），不要拿 System One/决策模型按“是/否”概率直接排序；0.6B–9B 差距为 5–29 nDCG@10，27B 才打平。
- 9B 以下 decision fine-tuning 相比 untuned zero-shot 没有排序增益，如果已有 untuned LLM，可先做零样本问法 baseline，不必额外引入决策微调。
- 决策模型的校准优势对问题措辞敏感，换一种问法可能消失；在线上系统评估校准或做阈值策略时，必须用实际 prompt 验证，不能直接沿用论文结论。
- 若关心固定阈值下保留优质结果，reranker fine-tune 的概率比 decision model 概率更可靠；做准入/截断时应基于 reranker fine-tune 输出。